Яндекс (HL) ыа 


Надежные и быстрые бэкапы 
PostgreSQL 


Даниил Захлыстов 


В предьдущих 
сериях 


Андреи Бородин, Георгий Рьмов: 
Резервное копирование нагруженных 


СУБД > clck.ru/Ln8Qw 


Андрей Бородин и Владимир Лесков: 
Масштабирование реплик PostgreSQL 
под нагрузкой с точки зрения 
технологий резервного копирования 
> clck.ru/F8ioz 


Андрей Бородин: Разгоняем бэкап 
> clck.ru/Ebbte 


Простой способ переноса данных 


pg dump 


pg dump 


pg. dump — extract a PostgreSQL database into a script file or other 
archive file 


postgresgl.org/docs/current/static/app-pgdump.html 


pg dump 


» Логическая копия ваших данных 
= 
== » Независит от версии Pg 


» Можете нарезать свою базу кусочками 


Если всё серьёзно 


Point in time гесомегу 


og. start backup API 


) Checkpoint 
» Full page writes = on 


y Записывает LSN начала бзкапа 


{ Не консистентная копия базы данных! 


pg start backup АР! 


REDO point ώμο! target 


ο... ο )“““«“««-«--.-.......... 
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base backup суа Mb Archive log 7-7 | Archive тү n ] к=» recovered database cluster 


Replay WAL data of archive logs | 
— ——> 
from the REDO point created by the pg_start_backup 
to recovery target 


htto://www.interdb.j img/fig-10-02.pn 


og. basebackup 


Использует pg. start backup API, простой инструмент создания 
физическои резервнои копии 


og. basebackup 


Использует pg. start backup API, простой инструмент создания 
физическои резервнои копии, но хочется: 


) 


) 


) 


Сжатие 

Параллелизм 
Шифрование 
Троттлинг ресурсов 
Листинг и управление 


Верификация 


WAL-G 


Тоже использует pg. start backup API для создания физической 
резервной копии, и умеет много всего: 


› Сжатие 

>» Параллелизм 

› Шифрование 

› Троттлинг ресурсов 

› Листинг и управление 


› Верификация 


Что нового y WAL-G? 


Верификация 
консистентности истории 
WAL 


Топология НА-кластера с архивом 


Архивация WAL 


Резервное 
копирование 


Репликация 


Топология НА-кластера с архивом 


Архивация WAL 


Резервное 
копирование 


Репликация 


Wal-g wal-push 


'jusr/bin/envdir /etc/wal-g/envdir 
/usr/bin/timeout 600 /usr/bin/wal-g wal-push %р' 


Архив WAL сегментов 


0000000100000013000000ЕТ 
0000000100000013000000Е2 
0000000100000013000000ЕЗ 
0000000100000013000000Е4 
0000000100000013000000Е5 


http://wiki.postgresqi.org/images/e/e5/FOSDEM2013-Timelines.pdf 


Архив WAL сегментов 


0000000100000013000000ЕТ 

0000000100000013000000Е2 

0000000100000013000000E3 

0000000100000013000000Е4 

0000000100000013000000Е5 

4 4 
TLI LSN 


http://wiki.postgresql.org/images/e/e5/FOSDEM2013-Timelines.pdf 


PostgreSQL Timelineld 


/ A/1500000 on timeline 2 
A/1500000 on timeline 1 


TLI 2 


TLI 1 


A/10000000 A/15000000 A/20000000 


wiki.oostgresaql.org/images/e/e5/FOSDEM2013-Timelines. pdf 


Архив WAL сегментов 


0000000100000013000000ЕТ 
0000000100000013000000Е2 
0000000100000013000000ЕЗ 
0000000100000013000000Е4 
0000000100000013000000Е5 


http://wiki.postgresqi.org/images/e/e5/FOSDEM2013-Timelines.pdf 
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Архив WAL сегментов 


0000000100000013000000Е1 
0000000100000013000000Е2 
0000000100000013000000Е3 
0000000100000013000000Е4 
0000000100000013000000Е5 


http://wiki.postgresqi.org/images/e/e5/FOSDEM2013-Timelines.pdf 


000000 
000000 
000000 


0000013000000ЕЗ 
0000013000000Е4 
0000013000000Е5 
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Архив WAL сегментов 


0000000100000013000000ЕТ 
0000000100000013000000Е2 
0000000100000013000000ЕЗ 
0000000100000013000000Е4 
0000000100000013000000Е5 


http://wiki.postgresqi.org/images/e/e5/FOSDEM2013-Timelines.pdf 


0000000200000013000000ЕЗ 
0000000200000013000000Е4 
0000000200000013000000Е5 


+ 00000002. historv 
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Timeline .historv file 


/var/lib/postgresql/13/data/pg. wal ἡ 


Timeline .historv file 


/var/lib/postgresql/13/data/pg. wal £ ls -L | grep .history 
1 postgres postgres 50 Арг 23 15:24 0000000?2.history 
1 postgres postgres 93 Apr 26 12:56 00000003.history 
1 postgres postgres 136 Apr 27 09:25 00000004.history 
/var/lib/postgresql/13/data/pg. wal ἡ 
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Timeline .historv file 


/var/lib/postgresql/13/data/pg. wal £ ls -L | grep .history 
1 postgres postgres 50 Арг 23 15:24 0000000?2.history 
1 postgres postgres 93 Apr 26 12:56 00000003.history 
1 postgres postgres 136 Apr 27 09:25 00000004.history 


/var/lib/postgresql/13/data/pg wal # cat 00000004.history 
1 0/9007278 before 2021-04-23 15:01:39.230187+03 


2 1/АЕд000Ад no recovery target specified 


3 2/28018600 no recovery target specified 
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Timeline .historv file 


/var/lib/postgresql/13/data/pg. wal £ ls -L | grep .history 
1 postgres postgres 50 Арг 23 15:24 0000000?2.history 
1 postgres postgres 93 Apr 26 12:56 00000003.history 
1 postgres postgres 136 Apr 27 09:25 00000004.history 
/var/lib/postgresql/13/data/pg wal # cat 00000004.history 
1 0/9007278 before 2021-04-23 15:01:39.230187+03 


2 1/AE0000A0 по recovery target specified 


3 2/28018600 no recovery target specified 


timeline id timeline switch lsn comment 
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Проблемы 


> ILIS 


| Split brain 
Ситуация, B которой B НА-кластере появляется второй мастер. Происходят из-за проблем ο сетевой 


связностью и / или проблем с сервисом координации. В качестве последствий - рассогласование данных 
в облачном хранилище WAL сегментов, так как возникает два конфликтующих таймлайна 
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Проблемы 


» TLIO 
> ILIS 


| Split brain 
Ситуация, B которой B НА-кластере появляется второй мастер. Происходят из-за проблем ο сетевой 


связностью и / или проблем с сервисом координации. В качестве последствий - рассогласование данных 
в облачном хранилище WAL сегментов, так как возникает два конфликтующих таймлайна 
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Проблемы 


» 1116 


> ILIS 


| Split brain 
Ситуация, B которой B НА-кластере появляется второй мастер. Происходят из-за проблем ο сетевой 


связностью и / или проблем с сервисом координации. В качестве последствий - рассогласование данных 
в облачном хранилище WAL сегментов, так как возникает два конфликтующих таймлайна 
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Проверка Ha неизвестные таймлайны 


текущий 


кластера 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


р) , TLIN 


Проверка Ha неизвестные таймлайны 


текущий 


кластера 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


р , TLIN 


Проверка Ha неизвестные таймлайны 


текущий 


кластера 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


αμ , TLIN 


Проверка Ha неизвестные таймлайны 


TLI N+1 
πο... , TLIN 
кластера ᾶ 


к) TLIN-1 
Бэкап Бэкап, не текущий 
ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Проблемы 


0000000100000013000000Е1 
-99999994:9999994:5999999:2- 
0000000100000013000000ЕЗ 
0000000100000013000000Е4 
0000000100000013000000Е5 


Недоступность PITR 
Потеря WAL сегмента или .history файла вызовет невозможность выполнить РТК 
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Проверка доступности PITR 


текущий 
ΝῊ Ka - TLIN 


кластера 


TLIN-1 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Проверка доступности PITR 


текущий 
ΝῊ Ka » TLIN 


кластера 


TLIN-1 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Проверка доступности PITR 


текущий 
РЕНН » TLIN 


кластера 


TLIN-1 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Проверка доступности PITR 


текущий 
РЕНН » TLIN 


кластера 


TLIN-1 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Проверка доступности PITR 


G » TLIN VY 


кластера 


TLIN-1 


Э 


Бэкап Бэкап, не текуший 


ВХОДЯШИЙ В LSN 
текущую кластера 
историю 


Как использовать? 


wal-verifv — новая команда в WAL-G, выполняющая проверки 
состояния архива \\/А в облачном хранилище 
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Проверка на неизвестные таймлайны 


^  wal-g wal-verifv timeline 


some-machine ~ # wal-g wal-verify timeline --config /etc/wal-g/wal-g.vaml 
INFO: 2021/05/05 16:09:13.289940 Building check runner: timeline 
INFO: 2021/05/05 16:09:13.289979 Running the check: timeline 
[wal-verify] timeline check status: OK 
[wal-verify] timeline check details: 
Highest timeline found in storage: 4 


Current cluster timeline: 4 
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Проверка доступности PITR 


^  wal-g wal-verifv integrity 


some-machine ~ # wal-g wal-verify integrity --config /etc/wal-g/wal-g.vaml 
INFO: 2021/05/05 16:05:59.459085 Building check runner: integrity 
INFO: 2021/05/05 16:05:59.496998 Detected earliest available backup: base. 00000002000000000000000A 
INFO: 2021/05/05 16:05:59.497033 Running the check: integrity 
[wal-verify] integrity check status: OK 


[wal-verify] integrity check details: 
-------- + 


STATUS | 
Tie илэн + 
FOUND | 
FOUND | 
FOUND | 
а + 


00000002000000000000000А | 0000000200000001000000AD | 
0000000300000001000000АЕ | 000000030000000200000027 | 
000000040000000200000028 | 0000000400000006000000СҒ | 


=== |---------- --- -- ---- йл сн a 4--- - - - -- -- - -- - -- - 


+ 
| 
+ 
| 
| 
| 
+ 
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когдаиспользуешьпровер 


ο а 
PAN) / 8 
"271141: 
41112444 та m 


+ 


98:55” 


#7 
2777 


€ 
УТУ 8 в 
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a 
PU Да 


ғ 
LI 
ғ 
Е 


58498 guy 
sanus ^ gg pan 
ο PX 
EEEE ууу 


ов агу 


AR ч 
мека 


Верификация чексумм 
страниц 


Проблемы 


ERROR: could not read block 274179 in file "base/13642/24643.2": read only 0 of 8192 bytes 


ERROR: could not access status of transaction 3250922107 
DETAIL: Could not open file "pg xact/0C1C': No such file or directory. 


ERROR: failed to re-find parent key in index "ρα attribute relid attnum index" for split pages 6424/6425 
PANIC could not Locate а valid checkpoint record 

ERROR: found multixact 68834765 from before relminmxid 73262006 

Error: failed to re-find parent key in the index "xxx" for split pages yyy/zzz 

ERROR: cache Lookup failed for type 16292881 


PANIC could not Locate a valid checkpoint record 


Коррупции данных 


45 


Причины коррупций 


Аппаратные Ошибки в Файловая система PostgreSQL Ошибки бэкапа / 
микропрограммах репликации 


Проверка чексумм в PostgreSQL 


table file 


page 
un Emm em 


1st 


page 
8192 (byte) 


block number 


ТТ 


_ раде 
Net | 92 (bvte) 


https://www.interdb.jp/pg/img/fig-1-04.png 


^ 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` 
` U 
` е 
` 
` 
` 
` 4 


Header Info 


pd Isn pd checksum pd шинээ — lower od аа 


ра pagesize pa prune 


special | 
pd sp version _xid 


free space 


pee pointers (hole) 


| Теа | 2 


heap tuples 
(record data) 
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Проверка чексумм B PostgreSQL 


> SELECT x FROM some table; 


ERROR: invalid page in block 20 of relation base/19554/19584 


https://bsdmag.org/page-checksum-protection-in-postgresql/ 
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Проверка чексумм в WAL-G 


) Зачем? 
Определить потенциально проблемный бэкап как можно раньше 


) Как включить? 
С помощью флага: 
wal-g backup-push /path —verifv 


В конфиге: 
WALG VERIFV PAGE CHECKSUMS-TRUE 
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Проверка чексумм в WAL-G 


x backup sentinel. json: 


"/base/16384/16397":{ 

οκ ο BLOCKS ο 
"SomeCorruptBlocks":[3,5,17], // πο умолчанию, до 10 первых поврежденных блоков 
'CorruptBlocksCount':3 // общее число поврежденных блоков 

by 

MISINeCremented, ταιςσ 

"TsSkipped":false, 

"Итъше "2020002 ИА Оба ο σου σσ ο 
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Обратная распаковка дельта 
бэкапов 


LSN-based дельты 


Bstart Bstop 
Файл 1 0 
Файл 2 © 
Файл 3 е 
Базовый 
LSN 
бэкап 
Файл 1 Файл 2 Файл 3 


-EH ЕЕЕ ERE 
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LSN-based дельты 


Bstart Bstop 
Файл 1 0 
Файл 2 8 
Файл 3 А 
Базовый 
бэкап 


Файл 1 


-EH ЕЕЕ ERE 


Файл 2 


Dstart 


Дельта 
бэкап 


LSN 


Файл 3 
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LSN-based дельты 


Bstart Bstop Dstart 

Файл 1 
Файл 2 B 
Файл 3 А 

Базовый Дельта 

LSN 
бэкап бэкап 
Файл 1 Файл 2 Файл 3 


„== == EEE 


ээ 


LSN-based дельты 


Bstart Bstop Dstart 
Файл 1 
Файл 2 
Файл 3 е 
Базовый Дельта 
LSN 
бэкап бэкап 
Файл 1 Файл 2 Файл 3 


„== Ses == 
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LSN-based дельты 


Bstart Bstop Dstart 
Файл 1 | | 
Файл 2 : : 
Файл 3 JA 
Базовый Дельта 
LSN 
бэкап бэкап 
Файл 1 Файл 2 Файл 3 


= = m 
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LSN-based дельты 


Bstart Bstop Dstart Dstop 
Файл 1 3 | 
Файл 2 : : 
Файл 3 е 
Базовый Дельта 
бэкап бэкап 
Файл 1 Файл 2 


=" =. 


LSN 


Файл 3 
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LSN-based дельты 


Дельта-файл 


DATA PAGE NEW DATA PAGE NEW 


59 


[Порядок распаковки дельт 


9 —19 


Полный бэкап Дельта бэкап 


e 


Дельта бэкап 


[Порядок распаковки дельт 


9 —19 


Полный бэкап Дельта бэкап 


EE 


e 


Дельта бэкап 


Порядок распаковки дельт 


9 —19 9 


Полный бзкап Дельта бэкап Дельта бэкап 


нае === 7 | === 


Обратный порядок распаковки дельт 


о μμ. o μμ. l T E 


Полный бзкап Дельта бэкап Дельта бэкап 


Обратный порядок распаковки дельт 


о μμ. o μμ. l T E 


Полный бзкап Дельта бэкап Дельта бэкап 


e ---. 


Обратный порядок распаковки дельт 


о μμ. o μμ. l T E 


Полный бзкап Дельта бэкап Дельта бэкап 


Сш ---. 


Насколько быстрее? 


Disk ИО (system.io) REVERSE STANDARD proc:/proc/diskstats 
0,0 V system.io 
MiB/s 
-19,5 —in - 
— out - 
ә -39,1 
с: 
2 
-58,6 
-78,1 


00:15:00 00:20:90 00:25:00 00|30:00 00:35:00 00:40:00 00:45:00 00:50:00 


Как включить? 


^ С помощью флага: 
wal-g backup-fetch LATEST —reverse-unpack 


В конфиге: 
WALG USE REVERSE UNPACK-TRUE 
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Бонус: пропуск загрузки ненужных архивов 


^ wal-g backup-push /path --rating-composer 


^  wal-g backup-fetch LATEST --reverse-unpack —skip-redundant-tars 


| Позволяет пропустить загрузку архивов в ходе обратной распаковки, в 
которых нет интересующих нас страниц 
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Как попробовать у себя? 


Куда поставить звездочку? 


github.com/wal-g/wal-g 


Все новые фичи есть B последнем pre-release: 


github.com/wal-g/wal-g/releases/tag/v0.2.22 
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Куда поставить звездочку? 


github.com/wal-g/wal-g 


Все новые фичи есть B последнем pre-release: 


github.com/wal-g/wal-g/releases/tag/v0.2.22 


A, вообще, у нас еще много идей... 


/7 


жду вопросов © 


Даниил Захлыстов 


Разработчик 


ER) usernamedt@yandex-team.ru 


Z| @usernamect 


